# %pip install mysql-connector-python     
# %pip install plotly                     
# %pip install mlxtend            
# %pip install networkx 
# %pip install fbprophet
# %pip install openpyxl
# %pip install nbformat

# Imports para ejecución del notebook
import pandas as pd
import os as os
import matplotlib.pyplot as plt
import plotly.express as px
import numpy as np
import sqlite3
import plotly.io as pio
from mlxtend.frequent_patterns import association_rules
from mlxtend.frequent_patterns import apriori
from prophet import Prophet

# Variable global para administrar el directorio actual
parent_dir = os.path.dirname(os.getcwd())

# Configuración para los renders de plotly
pio.renderers.default = 'notebook'

# Ubicación de base de datos
database_name = '/data/database/tfm_couriers.db'

# Funciones reutilizables
def SalvarEnBD(table_name, data):
    conn = sqlite3.connect(parent_dir + database_name)
    # Convierte el DataFrame a una tabla SQL
    data.to_sql(table_name , conn, if_exists='replace', index=False)

# Lectura del archivo de datos y almacenamiento en variable data
data = pd.read_excel (parent_dir + '/data/raw/data.xlsx', sheet_name='UnifiedData')
# Se despliega los primeros registros de los datos
data.head()

# Variable para administrar los datos de los catálogos
data_catalogo = pd.read_excel(parent_dir + '/data/raw/catalogo.xlsx', sheet_name='Catálogo')

# Despliegue de primeras filas del conjunto de datos
data_catalogo.head()

# Métricas descriptivas de los datos
data.describe(include='all')

# Revisión de valores faltantes
data.isnull().sum()

DUA                          0
Item del DUA                 0
Fecha DUA                    0
Aduana                       0
Regimen                      0
Modalidad                    0
Importador                   0
Proveedor                    0
Marca                        0
Modelo                       0
Factura                      0
Código SAC                   0
Código Sistema Armonizado    0
Modo transporte              0
País de Origen               0
Pais de Procedencia          0
Pais de Adquisición          0
Cantidad                     0
Unidad de Medida             0
Volúmen Físico               0
Cantidad de bultos           0
Valor FOB USD                0
Valor FOB USD por unidad     0
Costo flete USD              0
Costo seguro USD             0
Valor CIF USD                0
Valor CIF USD  unitario      0
Valor en Aduana USD          0
Peso neto Kg.                0
Peso bruto Kg.               0
Peso bruto en Lbs.           0
Descripción de Mercancía     0
ID Declarante                0
Declarante                   0
ID Agente Aduanero           0
Agente aduanero              0
ID Localización              0
Localización                 0
% IVA                        0
Total IVA USD                0
% Ley 6946                   0
Total Ley 6946 USD           0
% DAI                        0
Total DAI USD                0
COSTO por PROCOMER USD       0
% S.C                        0
Total SC USD                 0
Otros impuestos USD          0
Total de Impuestos           0
dtype: int64

import plotly.express as px

# Lista de columnas específicas para las cuales quieres generar histogramas
columnas_especificas = ['Fecha DUA', 'Código Sistema Armonizado', 'Valor FOB USD', 'Costo flete USD', 'Costo seguro USD', 'Valor CIF USD','Peso bruto en Lbs.']

# Crea histogramas para las columnas especificadas
for columna in columnas_especificas:
    fig = px.histogram(data, x=columna, title=f"Histograma de {columna}")
    fig.show()

data['Año'] = data['DUA'].str[4:8]
# Mover la columna Anno a la primera posición
año = data.pop('Año')
data.insert(0, 'Año', año)
data['Año'] = pd.to_datetime(data['Año'])

def create_pivot_table(data):
    pivot_df = data.pivot_table(index='Año', columns='Importador', values='Cantidad', aggfunc='sum').reset_index()
    plot_pivot_table(pivot_df)

def plot_pivot_table(pivot_df):

    # Preparar los datos para Plotly
    pivot_df_long = pivot_df.melt(id_vars='Año', var_name='Importador', value_name='Cantidad')
    
    # Crear el gráfico de barras con Plotly
    fig = px.bar(pivot_df_long, x='Año', y='Cantidad', color='Importador', title='Cantidades Importadas por Cada Empresa Cada Año',
                 labels={'Cantidad': 'Cantidad Importada', 'Año': 'Año'}, barmode='stack')
    
    # Mostrar el gráfico
    fig.show(renderer = "notebook")
    
create_pivot_table(data)

# Asegurarse de que 'Mes' se extrae correctamente si 'Año' es una columna de tipo fecha
data['Año'] = pd.to_datetime(data['Año'])
data['Mes'] = data['Año'].dt.month

# Agrupar los datos por año, importador, mes y Código SAC y contar la cantidad de DUAs
duas_por_año_importador_mes_sac = data.groupby([data['Año'].dt.year, 'Importador', 'Mes', 'Código Sistema Armonizado']).size().reset_index(name='Cantidad_DUAs')

# Crear el gráfico para todos los importadores y años
fig = px.bar(duas_por_año_importador_mes_sac, x='Mes', y='Cantidad_DUAs', color='Código Sistema Armonizado',
             facet_col='Año', facet_row='Importador',
             labels={'Mes': 'Mes', 'Cantidad_DUAs': 'Cantidad de DUAs', 'Código Sistema Armonizado': 'Código SA'},
             width=800, height=600)

# Actualizar el diseño del gráfico
fig.update_layout(title='Cantidad de DUAs por Mes y Código Sistema Armonizado para todos los importadores y años',
                  xaxis_title='Mes', yaxis_title='Cantidad de DUAs')

# Mostrar el gráfico
fig.show()

def plot_top_20_duas(data):
    """
    Grafica las 20 principales DUAs por Valor FOB USD utilizando plotly.express.

    Parámetros:
    - data (pandas.DataFrame): El DataFrame de entrada que contiene los datos.

    Retorna:
    - None
    """

    # Obtener las 20 principales DUAs por cantidad
    top_20_duas = data['DUA'].value_counts().head(20).index

    # Filtrar los datos para incluir solo las DUAs seleccionadas
    filtered_data = data[data['DUA'].isin(top_20_duas)]

    # Agrupar los datos por DUA y sumar los valores de Valor FOB USD
    aggregated_data = filtered_data.groupby('DUA')['Valor CIF USD'].sum().reset_index()

    # Ordenar los datos por Valor FOB USD de forma descendente
    aggregated_data = aggregated_data.sort_values(by='Valor CIF USD', ascending=False)

    # Crear el gráfico de barras utilizando plotly express
    fig = px.bar(aggregated_data, x='DUA', y='Valor CIF USD',
                 labels={'DUA': 'DUA', 'Valor CIF USD': 'Valor CIF USD'},
                 title='Top 20 DUAs por Valor CIF USD')
    fig.update_layout(xaxis_tickangle=-90)
    fig.show(renderer = "notebook")

plot_top_20_duas(data)

# Importar plotly.express como px

# Crear el gráfico de dispersión con diferentes colores basados en el importador y con información adicional al pasar el mouse sobre 'Descripción de Mercancía'
fig_cif_vs_kg = px.scatter(data, x='Peso neto Kg.', y='Valor CIF USD', color='Importador',
                           title='Valor CIF USD vs. Kg netos',
                           hover_data={'Descripción de Mercancía': True})

# Mostrar el gráfico
fig_cif_vs_kg.show(renderer = "notebook")

# Se cuenta con información de tres años completos
distinct_values = data['Año'].unique()
print(distinct_values)

<DatetimeArray>
['2022-01-01 00:00:00', '2023-01-01 00:00:00', '2021-01-01 00:00:00']
Length: 3, dtype: datetime64[ns]

# Esto creo que se puede quitar 
print(data.columns)

Index(['Año', 'DUA', 'Item del DUA', 'Fecha DUA', 'Aduana', 'Regimen',
       'Modalidad', 'Importador', 'Proveedor', 'Marca', 'Modelo', 'Factura',
       'Código SAC', 'Código Sistema Armonizado', 'Modo transporte',
       'País de Origen', 'Pais de Procedencia', 'Pais de Adquisición',
       'Cantidad', 'Unidad de Medida', 'Volúmen Físico', 'Cantidad de bultos',
       'Valor FOB USD', 'Valor FOB USD por unidad', 'Costo flete USD',
       'Costo seguro USD', 'Valor CIF USD', 'Valor CIF USD  unitario',
       'Valor en Aduana USD', 'Peso neto Kg.', 'Peso bruto Kg.',
       'Peso bruto en Lbs.', 'Descripción de Mercancía', 'ID Declarante',
       'Declarante', 'ID Agente Aduanero', 'Agente aduanero',
       'ID Localización', 'Localización', '% IVA', 'Total IVA USD',
       '% Ley 6946', 'Total Ley 6946 USD', '% DAI', 'Total DAI USD',
       'COSTO por PROCOMER USD', '% S.C', 'Total SC USD',
       'Otros impuestos USD', 'Total de Impuestos', 'Mes'],
      dtype='object')

# Connect to the SQLite database
# SalvarEnBD('FactDatosCouriers', data)

data['Proporción de impuestos sobre el valor FOB'] = (data['Total de Impuestos'] * data["Valor FOB USD"]) / 100
data['Proporción de los impuestos sobre el valor aduanero'] = (data['Total de Impuestos'] * data["Valor en Aduana USD"]) / 100

data = data.merge(data_catalogo, left_on='Código Sistema Armonizado', right_on='Código Sistema Armonizado')
data.head()

# Agrupamos por 'DUA' y 'DescripcionPartida', deshacemos el apilamiento de los artículos y llenamos los valores NA con 0
basket = (data
          .groupby(['DUA', 'Código Sistema Armonizado'])['Código Sistema Armonizado']
          .count().unstack().reset_index().fillna(0)
          .set_index('DUA'))

# Convertimos las unidades a valores codificados en caliente (1 hot encoded)
def codificar_unidades(x):
    if x <= 0:
        return 0
    if x >= 1:
        return 1

conjuntos_cesta = basket.applymap(codificar_unidades)

# Mostramos las primeras filas del DataFrame resultante
conjuntos_cesta.head()

Este gráfico de dispersión representa la relación entre el soporte y la confianza de las reglas de asociación generadas a partir de nuestro análisis de datos, siguiendo el modelo CRISP-DM. En el contexto de un proyecto de maestría, donde buscamos profundizar en el análisis de las operaciones de importación de empresas de courier en Costa Rica, este gráfico es una herramienta clave para entender las relaciones subyacentes entre diferentes productos importados.

- **Soporte**: Indica qué tan frecuentemente aparece la combinación de productos (antecedente y consecuente) en el conjunto de datos. Un valor de soporte más alto significa que la regla es más común. En el gráfico, esto se representa en el eje X.

- **Confianza**: Muestra la probabilidad de que, dado el antecedente, se encuentre el consecuente. Una confianza más alta indica una mayor probabilidad de que la regla sea verdadera. En el gráfico, la confianza se representa en el eje Y.

- **Lift (Tamaño del punto)**: El tamaño de los puntos indica el "lift" de cada regla, que mide la fuerza de la asociación. Un "lift" mayor a 1 sugiere que la regla tiene una asociación positiva fuerte.

Este análisis es fundamental para identificar patrones de compra y optimizar las estrategias de importación. Por ejemplo, una regla con alto soporte y confianza puede indicar una fuerte relación entre dos productos, sugiriendo que a menudo se importan juntos. Estos insights pueden ayudar a SwiftShip y ExpediteX a tomar decisiones informadas sobre la gestión de inventario y promociones cruzadas, alineando sus estrategias con las tendencias de importación reales.

Este gráfico de dispersión representa la relación entre el soporte y la confianza de las reglas de asociación generadas a partir de nuestro análisis de datos, siguiendo el modelo CRISP-DM. En el contexto de un proyecto de maestría, donde buscamos profundizar en el análisis de las operaciones de importación de empresas de courier en Costa Rica, este gráfico es una herramienta clave para entender las relaciones subyacentes entre diferentes productos importados.

- **Soporte**: Indica qué tan frecuentemente aparece la combinación de productos (antecedente y consecuente) en el conjunto de datos. Un valor de soporte más alto significa que la regla es más común. En el gráfico, esto se representa en el eje X.

- **Confianza**: Muestra la probabilidad de que, dado el antecedente, se encuentre el consecuente. Una confianza más alta indica una mayor probabilidad de que la regla sea verdadera. En el gráfico, la confianza se representa en el eje Y.

- **Lift (Tamaño del punto)**: El tamaño de los puntos indica el "lift" de cada regla, que mide la fuerza de la asociación. Un "lift" mayor a 1 sugiere que la regla tiene una asociación positiva fuerte.

Este análisis es fundamental para identificar patrones de compra y optimizar las estrategias de importación. Por ejemplo, una regla con alto soporte y confianza puede indicar una fuerte relación entre dos productos, sugiriendo que a menudo se importan juntos. Estos insights pueden ayudar a SwiftShip y ExpediteX a tomar decisiones informadas sobre la gestión de inventario y promociones cruzadas, alineando sus estrategias con las tendencias de importación reales.

#Salvar el resultado en la base de datos
#SalvarEnBD('BasketAnalysis_OneHotEncoding', data)
# No se guarda en base de datos por tamaño del archivo

# Construimos los conjuntos de artículos frecuentes
conjuntos_cesta_bool = conjuntos_cesta.astype(bool)

# Generate frequent itemsets
conjuntos_frecuentes = apriori(conjuntos_cesta_bool, min_support=0.20, use_colnames=True)

# Display the first few frequent itemsets
conjuntos_frecuentes.head()

# Generate the rules
rules = association_rules(conjuntos_frecuentes, metric="confidence", min_threshold=0.70)   ## Lo que indicó Ramón hay que documentarlo

# Display the first few rules
rules.head()

# Specify the file path and name for the Excel file
file_path = parent_dir + '/data/procesed/rules.xlsx'

# Export the DataFrame to Excel
rules.to_excel(file_path, index=False)

# Ordenamos las reglas por lift en orden descendente, siguiendo consejo de D. Ramón
reglas_ordenadas_por_lift = rules.sort_values('lift', ascending=False)

# Mostramos las primeras reglas
reglas_ordenadas_por_lift.head()

rules['antecedents'] = rules['antecedents'].apply(list)
rules['consequents'] = rules['consequents'].apply(list)

# Create the scatter plot
fig = px.scatter(rules, x="support", y="confidence", size="lift",
                 hover_data=['antecedents', 'consequents'],
                 size_max=60, title="Reglas de Asociación: Soporte vs. Confianza")

# Update axes titles
fig.update_xaxes(title_text='Soporte')
fig.update_yaxes(title_text='Confianza')

# Adjust the height of the plot
fig.update_layout(height=800)  # Set the height to 800 pixels

# Show the plot
fig.show(renderer = "notebook")

import networkx as nx
import plotly.graph_objects as go

# Create a graph
G = nx.Graph()


# Add nodes and edges from the rules DataFrame
for _, row in rules.iterrows():
    antecedents = ', '.join(str(item) for item in row['antecedents'])
    consequents = ', '.join(str(item) for item in row['consequents'])
    G.add_node(antecedents, type='antecedent')
    G.add_node(consequents, type='consequent')
    G.add_edge(antecedents, consequents, weight=row['lift'])

# Adjust the spring layout with a larger k value for more separation
pos = nx.spring_layout(G, k=0.15)  # Increase k to spread nodes further apart

# Create edge traces
edge_x = []
edge_y = []
for edge in G.edges():
    x0, y0 = pos[edge[0]]
    x1, y1 = pos[edge[1]]
    edge_x.extend([x0, x1, None])
    edge_y.extend([y0, y1, None])

edge_trace = go.Scatter(x=edge_x, y=edge_y, line=dict(width=0.5, color='#888'), hoverinfo='none', mode='lines')

# Create node traces
node_x = []
node_y = []
text = []
for node in G.nodes():
    x, y = pos[node]
    node_x.append(x)
    node_y.append(y)
    text.append(node)

node_trace = go.Scatter(x=node_x, y=node_y, text=text, mode='markers+text', hoverinfo='text', marker=dict(showscale=True, colorscale='YlGnBu', size=10))

# Adjust the figure layout to make it taller and possibly wider
fig = go.Figure(data=[edge_trace, node_trace],
                layout=go.Layout(showlegend=False, hovermode='closest',
                                 margin=dict(b=0,l=0,r=0,t=0),
                                 xaxis=dict(showgrid=False, zeroline=False, showticklabels=False),
                                 yaxis=dict(showgrid=False, zeroline=False, showticklabels=False),
                                 height=800,  # Increase height for a taller plot
                                 width=1400))  # Optional: Adjust width as needed

# Show the plot
fig.show(renderer = "notebook")

import pandas as pd

# Assuming 'data' is your DataFrame and 'Código Sistema Armonizado' is the column you're working with
distinct_values = data['Código Sistema Armonizado'].unique()

# Convert the NumPy array to a DataFrame
distinct_values_df = pd.DataFrame(distinct_values, columns=['Código Sistema Armonizado'])

# Specify the file path and name for the Excel file
file_path = parent_dir + '/data/distinctValues.xlsx'

# Export the DataFrame to Excel
distinct_values_df.to_excel(file_path, index=False)
#distinct_values.to_excel(file_path, index=False)

grouped_data = data.groupby('Fecha DUA')['Valor CIF USD'].sum().reset_index()
grouped_data.head()

df_prophet = grouped_data[['Fecha DUA', 'Valor CIF USD']].rename(columns={'Fecha DUA': 'ds', 'Valor CIF USD': 'y'})

m = Prophet()
m.fit(df_prophet)

11:15:53 - cmdstanpy - INFO - Chain [1] start processing
11:15:53 - cmdstanpy - INFO - Chain [1] done processing

<prophet.forecaster.Prophet at 0x319a42640>

future = m.make_future_dataframe(periods=90)
future.tail()

forecast = m.predict(future)
forecast[['ds', 'yhat', 'yhat_lower', 'yhat_upper']].tail()

fig1 = m.plot(forecast)

fig2 = m.plot_components(forecast)

from prophet.plot import plot_plotly, plot_components_plotly

plot_plotly(m, forecast)

plot_components_plotly(m, forecast)

/Users/jorgebarquero/anaconda3/envs/Enae_SeriesTemporales/lib/python3.8/site-packages/plotly/basedatatypes.py:2314: DeprecationWarning:

The append_trace method is deprecated and will be removed in a future version.
Please use the add_trace method with the row and col parameters.


/Users/jorgebarquero/anaconda3/envs/Enae_SeriesTemporales/lib/python3.8/site-packages/plotly/basedatatypes.py:2314: DeprecationWarning:

The append_trace method is deprecated and will be removed in a future version.
Please use the add_trace method with the row and col parameters.


/Users/jorgebarquero/anaconda3/envs/Enae_SeriesTemporales/lib/python3.8/site-packages/plotly/basedatatypes.py:2314: DeprecationWarning:

The append_trace method is deprecated and will be removed in a future version.
Please use the add_trace method with the row and col parameters.


/Users/jorgebarquero/anaconda3/envs/Enae_SeriesTemporales/lib/python3.8/site-packages/plotly/basedatatypes.py:2314: DeprecationWarning:

The append_trace method is deprecated and will be removed in a future version.
Please use the add_trace method with the row and col parameters.


/Users/jorgebarquero/anaconda3/envs/Enae_SeriesTemporales/lib/python3.8/site-packages/plotly/basedatatypes.py:2314: DeprecationWarning:

The append_trace method is deprecated and will be removed in a future version.
Please use the add_trace method with the row and col parameters.

# TRATANDO de probar el modelo
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
import numpy as np

# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(df_prophet['ds'], df_prophet['y'], test_size=0.2, random_state=0)

# Train the Prophet model
m = Prophet()
m.fit(pd.DataFrame({'ds': X_train, 'y': y_train}))

# Generate predictions for the testing data
future = pd.DataFrame({'ds': X_test})
forecast = m.predict(future)

# Calculate evaluation metrics
mse = mean_squared_error(y_test, forecast['yhat'])
rmse = np.sqrt(mse)
mae = np.mean(np.abs(y_test - forecast['yhat']))

print("Root Mean Squared Error (RMSE):", rmse)
print("Mean Absolute Error (MAE):", mae)

11:15:55 - cmdstanpy - INFO - Chain [1] start processing
11:15:55 - cmdstanpy - INFO - Chain [1] done processing

Root Mean Squared Error (RMSE): 10316.38561566022
Mean Absolute Error (MAE): 8536.758449511086

	DUA	Item del DUA	Fecha DUA	Aduana	Regimen	Modalidad	Importador	Proveedor	Marca	Modelo	...	Total IVA USD	% Ley 6946	Total Ley 6946 USD	% DAI	Total DAI USD	COSTO por PROCOMER USD	% S.C	Total SC USD	Otros impuestos USD	Total de Impuestos
0	005-2022-001495	1	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	No disponible	...	6.45	1	0.43	14	6.04	3	0	0.00	0.11	16.03
1	005-2022-001495	2	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	No disponible	...	92.12	1	5.61	14	78.49	0	10	63.91	0.00	240.13
2	005-2022-001495	3	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	No disponible	...	86.12	1	5.76	14	80.65	0	0	0.00	0.00	172.53
3	005-2022-001495	4	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	No disponible	...	51.21	1	3.58	9	32.23	0	0	0.00	0.00	87.02
4	005-2022-001495	5	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	No disponible	...	9.54	1	0.64	14	8.94	0	0	0.00	0.00	19.12

	Código Sistema Armonizado	Descripción
0	9504	VIDEOCONSOLAS Y MÁQUINAS ...
1	8516	CALENTADORES ELÉCTRICOS DE AGUA DE CAL...
2	3926	LAS DEMÁS MANUFACTURAS DE PLÁSTICO Y...
3	9506	ARTÍCULOS Y MATERIAL PARA CULTURA FÍSI...
4	9503	TRICICLOS, PATINETES, COCHES DE PEDAL Y JUGUET...

	DUA	Item del DUA	Fecha DUA	Aduana	Regimen	Modalidad	Importador	Proveedor	Marca	Modelo	...	Total IVA USD	% Ley 6946	Total Ley 6946 USD	% DAI	Total DAI USD	COSTO por PROCOMER USD	% S.C	Total SC USD	Otros impuestos USD	Total de Impuestos
count	178434	178434.000000	178434	178434	178434	178434	178434	178434	178434	178434	...	178434.000000	178434.0	178434.000000	178434.0	178434.000000	178434.000000	178434.0	178434.000000	178434.000000	178434.00000
unique	4176	NaN	NaN	1	1	2	2	12	16	33	...	NaN	8.0	NaN	11.0	NaN	NaN	16.0	NaN	NaN	NaN
top	005-2023-732459	NaN	NaN	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	ExpediteX	No disponible	No disponible	No disponible	...	NaN	1.0	NaN	14.0	NaN	NaN	0.0	NaN	NaN	NaN
freq	480	NaN	NaN	178434	178434	178357	143547	178393	178357	178357	...	NaN	93314.0	NaN	56616.0	NaN	NaN	96091.0	NaN	NaN	NaN
mean	NaN	63.527013	2022-06-23 05:30:13.497427712	NaN	NaN	NaN	NaN	NaN	NaN	NaN	...	6.062704	NaN	0.376309	NaN	3.501689	0.066882	NaN	0.812547	0.003029	10.82316
min	NaN	1.000000	2021-01-04 00:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	...	0.000000	NaN	0.000000	NaN	0.000000	0.000000	NaN	0.000000	0.000000	0.00000
25%	NaN	12.000000	2021-08-05 00:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	...	0.250000	NaN	0.000000	NaN	0.000000	0.000000	NaN	0.000000	0.000000	0.59000
50%	NaN	46.000000	2022-04-06 00:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	...	2.230000	NaN	0.140000	NaN	0.940000	0.000000	NaN	0.000000	0.000000	3.94000
75%	NaN	100.000000	2023-05-17 00:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	...	5.790000	NaN	0.360000	NaN	3.320000	0.000000	NaN	0.000000	0.000000	10.43000
max	NaN	480.000000	2023-12-28 00:00:00	NaN	NaN	NaN	NaN	NaN	NaN	NaN	...	190.890000	NaN	11.530000	NaN	161.370000	3.000000	NaN	242.510000	12.000000	476.31000
std	NaN	60.202672	NaN	NaN	NaN	NaN	NaN	NaN	NaN	NaN	...	12.400669	NaN	0.797761	NaN	8.447561	0.442915	NaN	5.652555	0.065990	23.05286

	Año	DUA	Item del DUA	Fecha DUA	Aduana	Regimen	Modalidad	Importador	Proveedor	Marca	...	Total DAI USD	COSTO por PROCOMER USD	Otros impuestos USD	Total de Impuestos	Mes	Proporción de impuestos sobre el valor FOB	Proporción de los impuestos sobre el valor aduanero	Descripción
0	2022-01-01	005-2022-001495	1	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	...	6.04	3	0.11	16.03	1	5.289900	6.918548	VIDEOCONSOLAS Y MÁQUINAS ...
1	2022-01-01	005-2022-001500	11	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	...	120.60	0	0.00	257.99	1	2176.610032	2222.377458	VIDEOCONSOLAS Y MÁQUINAS ...
2	2022-01-01	005-2022-001501	8	2022-01-03	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	...	57.90	0	0.00	123.87	1	495.467613	512.301546	VIDEOCONSOLAS Y MÁQUINAS ...
3	2022-01-01	005-2022-040801	8	2022-01-24	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	...	9.98	0	0.00	21.35	1	12.807865	15.220415	VIDEOCONSOLAS Y MÁQUINAS ...
4	2022-01-01	005-2022-040801	9	2022-01-24	SANTAMARIA	IMPORTACION DEFINITIVA	ENTREGA RAPIDA	SwiftShip	No disponible	No disponible	...	11.39	0	0.00	24.37	1	17.059000	19.834743	VIDEOCONSOLAS Y MÁQUINAS ...

Código Sistema Armonizado	2508	2513	2526	3006	3402	3405	3406	3407	3506	3701	...	9613	9614	9615	9616	9617	9618	9619	9620	9701	9706
DUA
005-2021-000324	0	0	0	0	0	0	0	0	0	0	...	0	0	0	0	1	0	0	1	0	0
005-2021-000341	0	0	0	0	0	0	0	0	0	0	...	0	0	0	0	0	0	0	1	0	0
005-2021-002548	0	0	0	0	0	0	0	0	0	0	...	0	0	0	0	0	0	0	0	0	0
005-2021-002659	0	0	0	0	0	0	0	0	0	0	...	0	0	0	0	0	0	0	0	0	0
005-2021-002660	0	0	0	0	0	0	0	0	0	0	...	0	0	0	0	0	0	0	0	0	0

Trabajo Final de Máster¶

CRISP-DM¶

Requisitos previos:¶

Business Understanding - listo¶

Objetivo General - listo¶

Objetivos Específicos - listo¶

Definiciones - listo¶

Data Understanding -- MJ LO REDACTA¶

Carga de archivo de datos fuente¶

Lectura de catálogos¶

Descripción de valores en columnas de datos -- Listo¶

Análisis Estadístico -- Listo¶

Verificación de valores nulos -- listo¶

Histogramas -- listo¶

Comparativa de cantidades importadas por año¶

Análisis de la cantidad de DUAs por Mes y Código SAC¶

Top 20 DUAs por Valor CIF$¶

Dispersión de datos¶

Data Preparation¶

Almacenamiento en base de datos ---- Agregar texto¶

Ingeniería de variables¶

Unificación de datos¶

3. MODELADO¶

Basket Analysis utilizando el algoritmo Apriori¶

Paso 1: Preparación de los datos¶

Paso 2: Generación de conjuntos de artículos frecuentes¶

Paso 3: Generación de las reglas¶

Paso 4: Análisis e Interpretación de las Reglas¶

Análisis de series temporales¶

Paso 1: Preparación de los Datos para Análisis de Serie Temporal¶

Paso 2: Preparación de Datos para Modelado con Prophet¶

Evaluación¶

Evaluación del algoritmo de recomendación¶

Evaluación de análisis de series temporales¶

Deployment¶

	support	itemsets
0	0.217672	(3923)
1	0.297653	(3924)
2	0.511734	(3926)
3	0.210010	(4016)
4	0.534962	(4202)

	antecedents	consequents	antecedent support	consequent support	support	confidence	lift	leverage	conviction	zhangs_metric
825	(6404, 4901, 9503)	(6403)	0.257184	0.236351	0.200192	0.778399	3.293406	0.139406	3.446048	0.937464
830	(6403)	(6404, 4901, 9503)	0.236351	0.257184	0.200192	0.847011	3.293406	0.139406	4.855361	0.911888
828	(6403, 9503)	(6404, 4901)	0.229646	0.266284	0.200192	0.871741	3.273734	0.139041	5.720602	0.901583
829	(6404, 4901)	(6403, 9503)	0.266284	0.229646	0.200192	0.751799	3.273734	0.139041	3.103747	0.946603
915	(4202, 6404, 3926)	(4901, 8471)	0.245929	0.252155	0.200431	0.814995	3.232117	0.138419	4.042298	0.915836

	Fecha DUA	Valor CIF USD
0	2021-01-04	7226.16
1	2021-01-05	16784.84
2	2021-01-06	12538.98
3	2021-01-07	6144.09
4	2021-01-08	6306.10

	ds
689	2024-03-23
690	2024-03-24
691	2024-03-25
692	2024-03-26
693	2024-03-27

	ds	yhat	yhat_lower	yhat_upper
689	2024-03-23	5408.531618	-4836.159784	16334.318430
690	2024-03-24	11028.792346	-252.639462	21574.136009
691	2024-03-25	23015.240779	12776.668155	33654.548780
692	2024-03-26	13026.895353	2540.872870	23273.090510
693	2024-03-27	13384.097071	2789.709034	23658.577319

	antecedents	consequents	antecedent support	consequent support	support	confidence	lift	leverage	conviction	zhangs_metric
0	(3924)	(3926)	0.297653	0.511734	0.227969	0.765889	1.496655	0.075650	2.085619	0.472478
1	(3924)	(4202)	0.297653	0.534962	0.238266	0.800483	1.496337	0.079033	2.330817	0.472275
2	(3924)	(4901)	0.297653	0.358477	0.209531	0.703942	1.963702	0.102829	2.166883	0.698740
3	(3924)	(6404)	0.297653	0.370450	0.209531	0.703942	1.900234	0.099265	2.126441	0.674523
4	(3924)	(9503)	0.297653	0.623084	0.253113	0.850362	1.364762	0.067650	2.518851	0.380541